Når man fra trappetårnet, som forbinder alle stokværk, træder ind i hallen og bydes velkommen af ingen ringere end Fjerde Christian, er stemningen straks sat.

Broholms historie kendes med sikkerhed fra 1326, da Esbern Snares oldebarn, Absalon Johnsen af Ulfeldt slægten, blev herre på Broholm Slot. Hans efterkommere beholdt den indtil 1473. Efter adskillige generationer af Ulfeldt-slægten havde beboet borgen, bl.a. under Grevens Fejde, også kaldet Danmarks sidste borgerkrig (1533-36), hvor mange gamle borge blev jævnet med jorden, men hvor Broholm takket være sine brede voldgrave går ram forbi, køber Otte Skeel slottet i 1641.

Det er den eneste gang Broholm er blevet handlet, og med ham ender Broholms middelalderæra. Han nedriver den brøstfældige borg og opfører den nuværende hovedbygning som en af landets sidste sengotiske bygninger, dog med stærke renæssancetræk i from af trappetårn og symmetrisk vinduesplacering.

I 1730 kommer slægten Sehested til gennem Niels Sehesteds giftermål med Elisabeth Skeel.

I midten af 1800-tallet blev længen, hvor restauranten er placeret, bygget til afløsning af et
bindingsværkshus. Hjørnetårnet kom til i 1839-40 til astronomiske observationer samtidig med at husene fik takkede gavle. Niels Frederik Bernhard Sehested overtog i 1839 Broholm. Han havde i 1833 overværet fundet af Broholmsskatten, den næststørste danske guldskat fra jernalderen, og derfra var hans interesse for arkæologi startet. I 1878 blev den nuværende museumsbygning opført efter hans egne tegninger til udstilling af hans flintesamling på over 60.000 stykker og andre fund fra Broholms jorde.

I 1905 blev den sidste længe, hvor biblioteket forefindes, opført. I juni 1952 brændte den daværende heste–, kostald og lade. Den var i tre etager. I stueetagen var hestestalden, kostalden og laden, på første sal opbevaredes hø og halm til hestene og på anden sal var der kornmagasin. Det blev opført i rødt tegl med stråtag. I dag står kun stueetagen af hestestalden samt murene af kostald og lade tilbage.

I 2002 gennemgik slottet en omfattende restaurering og blev tilgængelig for gæster, hvor i dag Broholm Slot er ejet af Anders Sehested, slægtens 13. generation. Slottet er forpagtet ud til Kenneth Birler og bliver drevet som Hotel og Restaurant.